விதிவிலக்கு கண்டறிதல்: உலகளாவிய நுண்ணறிவுகளுக்கான புள்ளிவிவர வெளிப்புறங்களை வெளிக்கொணர்தல்

இன்றைய தரவு சார்ந்த உலகில், அசாதாரணமானவற்றிலிருந்து இயல்பானவற்றை வேறுபடுத்தி அறியும் திறன் மிக முக்கியமானது. நிதி பரிவர்த்தனைகளைப் பாதுகாத்தல், பிணைய பாதுகாப்பை உறுதி செய்தல் அல்லது தொழில்துறை செயல்முறைகளை மேம்படுத்துதல் என எதுவாக இருந்தாலும், எதிர்பார்க்கப்படும் வடிவங்களிலிருந்து விலகல்களை அடையாளம் காண்பது மிகவும் முக்கியமானது. இங்கேதான் விதிவிலக்கு கண்டறிதல், குறிப்பாக புள்ளிவிவர வெளிப்புற அடையாளம் மூலம், ஒரு முக்கிய பங்கு வகிக்கிறது. இந்த விரிவான வழிகாட்டி அடிப்படை கருத்துக்கள், பிரபலமான வழிமுறைகள் மற்றும் இந்த சக்திவாய்ந்த நுட்பத்தின் தொலைநோக்கு உலகளாவிய பயன்பாடுகளை ஆராயும்.

விதிவிலக்கு கண்டறிதல் என்றால் என்ன?

விதிவிலக்கு கண்டறிதல், வெளிப்புற கண்டறிதல் என்றும் அழைக்கப்படுகிறது, இது தரவின் பெரும்பான்மையிலிருந்து கணிசமாக விலகிச் செல்லும் தரவு புள்ளிகள், நிகழ்வுகள் அல்லது அவதானிப்புகளை அடையாளம் காணும் செயல்முறையாகும். இந்த விலகல்கள் பெரும்பாலும் விதிவிலக்குகள், வெளிப்புறங்கள், விலக்குகள் அல்லது புதுமைகள் என்று குறிப்பிடப்படுகின்றன. தரவு சேகரிப்பில் உள்ள பிழைகள், கணினி செயலிழப்புகள், மோசடி நடவடிக்கைகள் அல்லது வெறுமனே அரிதான ஆனால் உண்மையான நிகழ்வுகள் உள்ளிட்ட பல்வேறு காரணங்களுக்காக விதிவிலக்குகள் ஏற்படலாம்.

விதிவிலக்கு கண்டறிதலின் நோக்கம் இந்த அசாதாரண நிகழ்வுகளைக் கொடியிட்டு மேலும் விசாரிக்க வேண்டும். விதிவிலக்குகளை புறக்கணிப்பதன் தாக்கம் சிறிய சிரமங்கள் முதல் பேரழிவு தோல்விகள் வரை இருக்கலாம், வலுவான கண்டறிதல் வழிமுறைகளின் முக்கியத்துவத்தை எடுத்துக்காட்டுகிறது.

விதிவிலக்கு கண்டறிதல் ஏன் முக்கியமானது?

விதிவிலக்கு கண்டறிதலின் முக்கியத்துவம் பல களங்களில் பரவியுள்ளது:

• தரவு ஒருமைப்பாடு: பகுப்பாய்வைப் பாதிக்கக்கூடிய தவறான தரவு புள்ளிகளை அடையாளம் கண்டு தவறான முடிவுகளுக்கு வழிவகுக்கும்.
• மோசடி கண்டறிதல்: வங்கி, காப்பீடு மற்றும் இணையவழி வணிகத்தில் மோசடி பரிவர்த்தனைகளை வெளிப்படுத்துதல்.
• சைபர் பாதுகாப்பு: தீங்கிழைக்கும் செயல்கள், பிணைய ஊடுருவல்கள் மற்றும் தீம்பொருளைக் கண்டறிதல்.
• கணினி சுகாதார கண்காணிப்பு: தொழில்துறை அமைப்புகளில் தவறான உபகரணங்கள் அல்லது செயல்திறன் குறைபாடுகளை அடையாளம் காணுதல்.
• மருத்துவ நோயறிதல்: நோயைக் குறிக்கக்கூடிய அசாதாரண நோயாளியின் அளவீடுகளைக் கண்டறிதல்.
• அறிவியல் கண்டுபிடிப்பு: அரிதான வானியல் நிகழ்வுகள் அல்லது அசாதாரண சோதனை முடிவுகளை அடையாளம் காணுதல்.
• வாடிக்கையாளர் நடத்தை பகுப்பாய்வு: வழக்கத்திற்கு மாறான கொள்முதல் முறைகள் அல்லது சேவை பயன்பாட்டைப் புரிந்துகொள்வது.

நிதி இழப்புகளைத் தடுப்பது முதல் செயல்பாட்டு திறனை மேம்படுத்துவது மற்றும் முக்கியமான உள்கட்டமைப்பைப் பாதுகாப்பது வரை, விதிவிலக்கு கண்டறிதல் என்பது உலகளவில் வணிகங்கள் மற்றும் நிறுவனங்களுக்கு இன்றியமையாத கருவியாகும்.

புள்ளிவிவர வெளிப்புற அடையாளம்: முக்கிய கொள்கைகள்

புள்ளிவிவர வெளிப்புற அடையாளம் 'இயல்பான' நடத்தை எது என்பதை வரையறுக்கவும், இந்த வரையறைக்கு வெளியே வரும் தரவு புள்ளிகளை அடையாளம் காணவும் நிகழ்தகவு மற்றும் புள்ளிவிவரங்களின் கொள்கைகளைப் பயன்படுத்துகிறது. தரவின் விநியோகத்தை மாதிரியாகக் கொண்டு, அந்த மாதிரியின் கீழ் நிகழும் குறைந்த நிகழ்தகவு உள்ள நிகழ்வுகளைக் கொடியிடுவதே முக்கிய யோசனை.

'இயல்பான' தரவை வரையறுத்தல்

விதிவிலக்குகளைக் கண்டறிவதற்கு முன்பு, இயல்பானதாகக் கருதப்படுவதற்கான ஒரு அடிப்படை கோட்டை நாம் முதலில் நிறுவ வேண்டும். இது பொதுவாக விதிவிலக்குகள் இல்லாமல் இருக்கும் என்று கருதப்படும் வரலாற்றுத் தரவை பகுப்பாய்வு செய்வதன் மூலம் அடையப்படுகிறது. தரவின் வழக்கமான நடத்தையை வகைப்படுத்த புள்ளிவிவர முறைகள் பின்னர் பயன்படுத்தப்படுகின்றன, பெரும்பாலும் கவனம் செலுத்துகின்றன:

• மையப் போக்கு: சராசரி (சராசரி) மற்றும் இடைநிலை (நடுத்தர மதிப்பு) போன்ற அளவீடுகள் தரவு விநியோகத்தின் மையத்தை விவரிக்கின்றன.
• சிதறல்: நிலையான விலகல் மற்றும் இடைப்பட்ட வரம்பு (IQR) போன்ற அளவீடுகள் தரவு எவ்வளவு பரவியுள்ளது என்பதை அளவிடுகின்றன.
• விநியோக வடிவம்: தரவு ஒரு குறிப்பிட்ட விநியோகத்தைப் பின்பற்றுகிறதா (எ.கா., காசியன்/சாதாரண விநியோகம்) அல்லது மிகவும் சிக்கலான மாதிரி உள்ளதா என்பதைப் புரிந்துகொள்வது.

வெளிப்புறங்களை அடையாளம் காணுதல்

சாதாரண நடத்தையின் புள்ளிவிவர மாதிரி நிறுவப்பட்டதும், இந்த மாதிரியிலிருந்து கணிசமாக விலகும் தரவு புள்ளிகள் வெளிப்புறங்களாக அடையாளம் காணப்படுகின்றன. இந்த விலகல் பெரும்பாலும் சாதாரண விநியோகத்திலிருந்து ஒரு தரவு புள்ளியின் 'தூரம்' அல்லது 'நிகழ்தகவு' மூலம் அளவிடப்படுகிறது.

விதிவிலக்கு கண்டறிதலுக்கான பொதுவான புள்ளிவிவர முறைகள்

வெளிப்புற அடையாளத்திற்கு பல புள்ளிவிவர நுட்பங்கள் பரவலாகப் பயன்படுத்தப்படுகின்றன. இந்த முறைகள் தரவைப் பற்றிய அவற்றின் சிக்கலான தன்மை மற்றும் அனுமானங்களில் வேறுபடுகின்றன.

1. Z-ஸ்கோர் முறை

Z-ஸ்கோர் முறை என்பது மிகவும் எளிமையான மற்றும் உள்ளுணர்வு அணுகுமுறைகளில் ஒன்றாகும். இது தரவு பொதுவாக விநியோகிக்கப்படுகிறது என்று கருதுகிறது. Z-ஸ்கோர் தரவு புள்ளி சராசரியிலிருந்து எத்தனை நிலையான விலகல்கள் தொலைவில் உள்ளது என்பதை அளவிடுகிறது.

சூத்திரம்:

Z = (X - μ) / σ

எங்கே:

• X என்பது தரவு புள்ளி.
• μ (mu) என்பது தரவுத்தொகுப்பின் சராசரி.
• σ (சிக்மா) என்பது தரவுத்தொகுப்பின் நிலையான விலகல்.

கண்டறிதல் விதி: ஒரு பொதுவான வரம்பு என்பது ஒரு குறிப்பிட்ட மதிப்பை விட (எ.கா., 2, 2.5 அல்லது 3) அதிக முழுமையான Z-ஸ்கோர் கொண்ட எந்த தரவு புள்ளியையும் ஒரு வெளிப்புறமாகக் கருதுவதாகும். 3 இன் Z-ஸ்கோர் என்றால் தரவு புள்ளி சராசரியிலிருந்து 3 நிலையான விலகல்கள் தொலைவில் உள்ளது.

நன்மை: எளிமையானது, புரிந்து கொள்ளவும் செயல்படுத்தவும் எளிதானது, கணினி ரீதியாக திறமையானது.

குறைபாடுகள்: சாதாரண விநியோகத்தின் அனுமானத்திற்கு மிகவும் உணர்திறன். சராசரி மற்றும் நிலையான விலகல் ஆகியவை ஏற்கனவே உள்ள வெளிப்புறங்களால் பெரிதும் பாதிக்கப்படலாம், இது தவறான வரம்புகளுக்கு வழிவகுக்கிறது.

உலகளாவிய எடுத்துக்காட்டு: ஒரு பன்னாட்டு இணையவழி வணிக தளம் ஒரு குறிப்பிட்ட பிராந்தியத்திற்கான அசாதாரணமாக அதிக அல்லது குறைந்த ஆர்டர் மதிப்புகளைக் கொடியிட Z-ஸ்கோர்களைப் பயன்படுத்தலாம். ஒரு நாட்டில் சராசரி ஆர்டர் மதிப்பு $50 ஆகவும், நிலையான விலகல் $10 ஆகவும் இருந்தால், $150 ஆர்டர் (Z-ஸ்கோர் = 10) உடனடியாக ஒரு சாத்தியமான விதிவிலக்காகக் கொடியிடப்படும், இது மோசடி பரிவர்த்தனையைக் குறிக்கலாம் அல்லது மொத்த கார்ப்பரேட் ஆர்டராக இருக்கலாம்.

2. IQR (இடைப்பட்ட வரம்பு) முறை

IQR முறை Z-ஸ்கோர் முறையை விட தீவிர மதிப்புகளுக்கு மிகவும் உறுதியானது, ஏனெனில் இது காலாண்டுகளை நம்பியுள்ளது, அவை வெளிப்புறங்களால் குறைவாகவே பாதிக்கப்படுகின்றன. IQR என்பது மூன்றாவது காலாண்டு (Q3, 75வது சதவிகிதம்) மற்றும் முதல் காலாண்டு (Q1, 25வது சதவிகிதம்) ஆகியவற்றுக்கு இடையேயான வித்தியாசம் ஆகும்.

கணக்கீடு:

1. தரவை ஏறுவரிசையில் வரிசைப்படுத்தவும்.
2. முதல் காலாண்டு (Q1) மற்றும் மூன்றாவது காலாண்டு (Q3) ஆகியவற்றைக் கண்டறியவும்.
3. IQR ஐக் கணக்கிடுங்கள்: IQR = Q3 - Q1.

கண்டறிதல் விதி: தரவு புள்ளிகள் பொதுவாக Q1 - 1.5 * IQR க்கும் குறைவாகவோ அல்லது Q3 + 1.5 * IQR க்கும் அதிகமாகவோ இருந்தால் வெளிப்புறங்களாகக் கருதப்படுகின்றன. பெருக்கி 1.5 ஒரு பொதுவான தேர்வாகும், ஆனால் அதை சரிசெய்யலாம்.

நன்மை: வெளிப்புறங்களுக்கு உறுதியானது, ஒரு சாதாரண விநியோகத்தை அனுமானிக்கவில்லை, செயல்படுத்த ஒப்பீட்டளவில் எளிதானது.

குறைபாடுகள்: முக்கியமாக ஒரு மாறிலி தரவுக்கு (ஒற்றை மாறி) வேலை செய்கிறது. தரவின் அடர்த்தியான பகுதிகளில் வெளிப்புறங்களுக்கு குறைவாகவே உணர்திறன் இருக்கும்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய கப்பல் நிறுவனம் தொகுப்புகளின் விநியோக நேரத்தைக் கண்காணிக்க IQR முறையைப் பயன்படுத்தலாம். ஒரு பாதையின் விநியோகங்களில் நடுவில் 50% 3 முதல் 7 நாட்களுக்குள் (Q1=3, Q3=7, IQR=4) விழுந்தால், 13 நாட்களுக்கு மேல் (7 + 1.5*4) அல்லது -3 நாட்களுக்கு குறைவாக எடுக்கும் எந்த விநியோகமும் (3 - 1.5*4, இங்கு எதிர்மறை நேரம் சாத்தியமில்லை, இது எதிர்மறையற்ற அளவீடுகளில் அதன் பயன்பாட்டை எடுத்துக்காட்டுகிறது) கொடியிடப்படும். கணிசமாக நீண்ட நேரம் எடுக்கும் ஒரு விநியோகம் தளவாட சிக்கல்கள் அல்லது சுங்க தாமதங்களைக் குறிக்கலாம்.

3. காசியன் கலவை மாதிரிகள் (GMM)

GMM கள் ஒரு அதிநவீன அணுகுமுறையாகும், இது தரவு ஒரு வரையறுக்கப்பட்ட எண்ணிக்கையிலான காசியன் விநியோகங்களின் கலவையிலிருந்து உருவாக்கப்படுகிறது என்று கருதுகிறது. இது மிகவும் சிக்கலான தரவு விநியோகங்களின் மாதிரியாக்கத்தை அனுமதிக்கிறது, அவை சரியாக காசியனாக இருக்காது, ஆனால் காசியன் கூறுகளின் கலவையால் தோராயமாக்கப்படலாம்.

இது எவ்வாறு செயல்படுகிறது:

1. அல்காரிதம் தரவுக்கு ஒரு குறிப்பிட்ட எண்ணிக்கையிலான காசியன் விநியோகங்களை பொருத்த முயற்சிக்கிறது.
2. ஒவ்வொரு தரவு புள்ளிக்கும் ஒவ்வொரு காசியன் கூறுக்கும் சொந்தமான நிகழ்தகவு ஒதுக்கப்படுகிறது.
3. ஒரு தரவு புள்ளிக்கான ஒட்டுமொத்த நிகழ்தகவு அடர்த்தி ஒவ்வொரு கூறுகளிலிருந்தும் நிகழ்தகவுகளின் எடையுள்ள தொகை ஆகும்.
4. மிகக் குறைந்த ஒட்டுமொத்த நிகழ்தகவு அடர்த்தி கொண்ட தரவு புள்ளிகள் வெளிப்புறமாகக் கருதப்படுகின்றன.

நன்மை: சிக்கலான, பல மாதிரி விநியோகங்களை மாதிரியாக்க முடியும். ஒரு ஒற்றை காசியன் மாதிரியை விட மிகவும் நெகிழ்வானது.

குறைபாடுகள்: காசியன் கூறுகளின் எண்ணிக்கையை குறிப்பிட வேண்டும். கணினி ரீதியாக மிகவும் தீவிரமாக இருக்க முடியும். துவக்க அளவுருக்களுக்கு உணர்திறன்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய தொலைத்தொடர்பு நிறுவனம் நெட்வொர்க் போக்குவரத்தின் மாதிரிகளை பகுப்பாய்வு செய்ய GMM களைப் பயன்படுத்தலாம். வெவ்வேறு வகையான நெட்வொர்க் பயன்பாடு (எ.கா., வீடியோ ஸ்ட்ரீமிங், குரல் அழைப்புகள், தரவு பதிவிறக்கங்கள்) வெவ்வேறு காசியன் விநியோகங்களைப் பின்பற்றலாம். ஒரு GMM ஐ பொருத்துவதன் மூலம், கணினி எதிர்பார்க்கப்படும் 'சாதாரண' பயன்பாட்டு சுயவிவரங்களுக்கு பொருந்தாத போக்குவரத்து மாதிரிகளை அடையாளம் காண முடியும், இது சேவை மறுப்பு (DoS) தாக்குதல் அல்லது அதன் உலகளாவிய நெட்வொர்க் முனைகளிலிருந்து வரும் அசாதாரண போட் செயல்பாட்டைக் குறிக்கலாம்.

4. DBSCAN (சத்தம் கொண்ட பயன்பாடுகளின் அடர்த்தி அடிப்படையிலான இடஞ்சார்ந்த கிளஸ்டரிங்)

முதன்மையாக ஒரு கிளஸ்டரிங் அல்காரிதம் என்றாலும், எந்த கிளஸ்டருக்கும் சொந்தமில்லாத புள்ளிகளை அடையாளம் காண்பதன் மூலம் விதிவிலக்கு கண்டறிதலுக்கு DBSCAN ஐ திறம்பட பயன்படுத்த முடியும். இது நெருக்கமாக ஒன்றாக நிரம்பிய புள்ளிகளை ஒன்றாக குழுவாக்குவதன் மூலம் செயல்படுகிறது, குறைந்த அடர்த்தி பகுதிகளில் தனியாக இருக்கும் புள்ளிகளை வெளிப்புறங்களாகக் குறிக்கிறது.

இது எவ்வாறு செயல்படுகிறது:

• DBSCAN 'மையப் புள்ளிகளை' வரையறுக்கிறது, குறிப்பிட்ட ஆரம் (எப்சிலான், ε) உள்ளே குறைந்தபட்ச எண்ணிக்கையிலான அண்டை நாடுகளைக் கொண்ட புள்ளிகளாக (MinPts).
• மையப் புள்ளிகளின் சங்கிலியால் மையப் புள்ளிகளிலிருந்து அடையக்கூடிய புள்ளிகள் கிளஸ்டர்களை உருவாக்குகின்றன.
• மையப் புள்ளியாக இல்லாத எந்தவொரு புள்ளியும் எந்தவொரு மையப் புள்ளியிலிருந்தும் அடைய முடியாதது 'சத்தம்' அல்லது வெளிப்புறமாக வகைப்படுத்தப்படுகிறது.

நன்மை: தன்னிச்சையாக வடிவமைக்கப்பட்ட கிளஸ்டர்களைக் கண்டறிய முடியும். சத்தத்திற்கு உறுதியானது. கிளஸ்டர்களின் எண்ணிக்கையை முன்பே குறிப்பிடத் தேவையில்லை.

குறைபாடுகள்: அளவுருக்களின் தேர்வுக்கு (MinPts மற்றும் ε) உணர்திறன். மாறுபட்ட அடர்த்திகளின் தரவுத்தொகுப்புகளுடன் போராடலாம்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய ரைடு-ஷேரிங் சேவை ஒரு நகரத்தில் அசாதாரணமான பயண முறைகளை அடையாளம் காண DBSCAN ஐப் பயன்படுத்தலாம். சவாரி கோரிக்கைகளின் இடஞ்சார்ந்த மற்றும் தற்காலிக அடர்த்தியை பகுப்பாய்வு செய்வதன் மூலம், இது 'சாதாரண' தேவை பகுதிகளைக் கிளஸ்டர் செய்யலாம். மிகக் குறைவான பகுதிகளில் விழும் கோரிக்கைகள் அல்லது சில சுற்றுப்புற கோரிக்கைகளுடன் அசாதாரண நேரங்களில், விதிவிலக்குகளாகக் கொடியிடப்படலாம். இது குறைந்த சேவை உள்ள தேவை பகுதிகள், சாத்தியமான ஓட்டுநர் பற்றாக்குறை அல்லது கணினியை விளையாட முயற்சிக்கும் மோசடி நடவடிக்கைகளைக் குறிக்கலாம்.

5. தனிமை வனப்பகுதி

தனிமை வனப்பகுதி என்பது இயல்பான தரவை சுயவிவரமாக்குவதை விட விதிவிலக்குகளைத் தனிமைப்படுத்தும் ஒரு மரம் அடிப்படையிலான அல்காரிதம் ஆகும். விதிவிலக்குகள் சில மற்றும் வித்தியாசமானவை என்பதே முக்கிய யோசனை, இது சாதாரண புள்ளிகளை விட 'தனிமைப்படுத்துவதை' எளிதாக்குகிறது.

இது எவ்வாறு செயல்படுகிறது:

1. இது 'தனிமை மரங்களின்' ஒரு குழுவை உருவாக்குகிறது.
2. ஒவ்வொரு மரத்திற்கும், தரவின் சீரற்ற துணைக்குழு பயன்படுத்தப்படுகிறது, மேலும் அம்சங்கள் சீரற்ற முறையில் தேர்ந்தெடுக்கப்படுகின்றன.
3. அல்காரிதம் ஒரு அம்சத்தையும் அந்த அம்சத்தின் அதிகபட்ச மற்றும் குறைந்தபட்ச மதிப்புகளுக்கு இடையில் ஒரு பிளவு மதிப்பையும் சீரற்ற முறையில் தேர்ந்தெடுப்பதன் மூலம் தரவை மீண்டும் மீண்டும் பிரிக்கிறது.
4. விதிவிலக்குகள் தனிமைப்படுத்தப்படுவதற்கு குறைவான பிளவுகள் தேவைப்படும் புள்ளிகள், அதாவது அவை மரத்தின் வேருக்கு நெருக்கமாக உள்ளன.

நன்மை: உயர் பரிமாண தரவுத்தொகுப்புகளுக்கு பயனுள்ளதாக இருக்கும். கணினி ரீதியாக திறமையானது. தூரம் அல்லது அடர்த்தி அளவீடுகளை நம்பவில்லை, இது வெவ்வேறு தரவு விநியோகங்களுக்கு உறுதியானது.

குறைபாடுகள்: அம்ச இடத்தின் அடிப்படையில் விதிவிலக்குகள் 'தனிமைப்படுத்தப்படாத' தரவுத்தொகுப்புகளுடன் போராடலாம், ஆனால் இயல்பான தரவு புள்ளிகளுக்கு நெருக்கமாக இருக்கலாம்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய நிதி நிறுவனம் சந்தேகத்திற்கிடமான வர்த்தக நடவடிக்கைகளைக் கண்டறிய தனிமை வனப்பகுதியைப் பயன்படுத்தலாம். மில்லியன் கணக்கான பரிவர்த்தனைகளுடன் கூடிய அதிர்வெண் வர்த்தக சூழலில், விதிவிலக்குகள் பொதுவாக வழக்கமான சந்தை நடத்தையிலிருந்து விலகிச் செல்லும் தனித்துவமான வர்த்தகங்களின் கலவைகளால் வகைப்படுத்தப்படுகின்றன. தனிமை வனப்பகுதி உலகெங்கிலும் உள்ள ஏராளமான நிதி கருவிகள் மற்றும் சந்தைகளில் இந்த அசாதாரண வர்த்தக முறைகளை விரைவாகக் கண்டறிய முடியும்.

விதிவிலக்கு கண்டறிதலை செயல்படுத்துவதற்கான நடைமுறை பரிசீலனைகள்

விதிவிலக்கு கண்டறிதலை திறம்பட செயல்படுத்துவதற்கு கவனமாக திட்டமிடல் மற்றும் செயல்படுத்தல் தேவை. இங்கே சில முக்கிய பரிசீலனைகள் உள்ளன:

1. தரவு முன் செயலாக்கம்

விதிவிலக்கு கண்டறிதலுக்கு மூல தரவு அரிதாகவே தயாராக உள்ளது. முன் செயலாக்க படிகள் முக்கியமானவை:

• விடுபட்ட மதிப்புகளைக் கையாளுதல்: விடுபட்ட மதிப்புகளை உள்ளிட வேண்டுமா அல்லது விடுபட்ட தரவைக் கொண்ட பதிவுகளை சாத்தியமான விதிவிலக்குகளாக கருத வேண்டுமா என்பதைத் தீர்மானிக்கவும்.
• தரவு அளவிடுதல்: பல அல்காரிதம்கள் அம்சங்களின் அளவிற்கு உணர்திறன் கொண்டவை. தரவை அளவிடுவது (எ.கா., Min-Max அளவிடுதல் அல்லது தரப்படுத்தல்) பெரும்பாலும் அவசியம்.
• அம்ச பொறியியல்: விதிவிலக்குகளை இன்னும் சிறப்பாக முன்னிலைப்படுத்தக்கூடிய புதிய அம்சங்களை உருவாக்குதல். எடுத்துக்காட்டாக, இரண்டு நேர முத்திரைகளுக்கு இடையிலான வித்தியாசத்தை அல்லது இரண்டு பண மதிப்புகளின் விகிதத்தைக் கணக்கிடுதல்.
• பரிமாண குறைப்பு: உயர் பரிமாண தரவுக்கு, PCA (முக்கிய கூறு பகுப்பாய்வு) போன்ற நுட்பங்கள் முக்கியமான தகவல்களைத் தக்கவைத்துக்கொண்டே அம்சங்களின் எண்ணிக்கையைக் குறைக்க உதவும், இது விதிவிலக்கு கண்டறிதலை மிகவும் திறமையாகவும் பயனுள்ளதாகவும் ஆக்குகிறது.

2. சரியான முறையைத் தேர்ந்தெடுப்பது

புள்ளிவிவர முறையின் தேர்வு உங்கள் தரவின் தன்மை மற்றும் நீங்கள் எதிர்பார்க்கும் விதிவிலக்குகளின் வகையைப் பொறுத்தது:

• தரவு விநியோகம்: உங்கள் தரவு பொதுவாக விநியோகிக்கப்பட்டுள்ளதா, அல்லது அதற்கு மிகவும் சிக்கலான அமைப்பு உள்ளதா?
• பரிமாணம்: நீங்கள் ஒரு மாறி தரவு அல்லது பல மாறி தரவுடன் பணிபுரிகிறீர்களா?
• தரவு அளவு: சில முறைகள் மற்றவர்களை விட கணினி ரீதியாக தீவிரமானவை.
• விதிவிலக்கு வகை: நீங்கள் புள்ளி விதிவிலக்குகளை (ஒற்றை தரவு புள்ளிகள்), சூழல் விதிவிலக்குகளை (ஒரு குறிப்பிட்ட சூழலில் உள்ள விதிவிலக்குகள்) அல்லது கூட்டு விதிவிலக்குகளை (ஒன்றாக அசாதாரணமான தரவு புள்ளிகளின் தொகுப்பு) தேடுகிறீர்களா?
• கள அறிவு: சிக்கலான களத்தைப் புரிந்துகொள்வது உங்கள் அம்சங்கள் மற்றும் முறைகளின் தேர்வுக்கு வழிகாட்ட முடியும்.

3. வரம்புகளை அமைத்தல்

ஒரு விதிவிலக்கைக் கொடியிடுவதற்கான பொருத்தமான வரம்பை தீர்மானிப்பது மிகவும் முக்கியமானது. மிகக் குறைந்த வரம்பு பல தவறான நேர்மறைகளுக்கு வழிவகுக்கும் (சாதாரண தரவு அசாதாரணமாகக் கொடியிடப்பட்டது), மிக உயர்ந்த வரம்பு தவறான எதிர்மறைகளுக்கு வழிவகுக்கும் (விதிவிலக்குகள் தவறவிடப்பட்டன).

• அனுபவ சோதனை: பெரும்பாலும், வரம்புகள் லேபிளிடப்பட்ட தரவின் மீது சோதனை மற்றும் சரிபார்ப்பு மூலம் தீர்மானிக்கப்படுகின்றன (கிடைத்தால்).
• வணிக தாக்கம்: தவறான நேர்மறைகளின் விலைக்கு எதிராக தவறான எதிர்மறைகளின் விலையைக் கவனியுங்கள். உதாரணமாக, மோசடி கண்டறிதலில், மோசடி பரிவர்த்தனையைத் தவறவிடுவது (தவறான எதிர்மறை) பொதுவாக ஒரு சட்டபூர்வமான பரிவர்த்தனையை விசாரிப்பதை விட (தவறான நேர்மறை) அதிக செலவாகும்.
• கள நிபுணத்துவம்: யதார்த்தமான மற்றும் செயல்படக்கூடிய வரம்புகளை அமைக்க கள நிபுணர்களுடன் கலந்தாலோசிக்கவும்.

4. மதிப்பீட்டு அளவீடுகள்

ஒரு விதிவிலக்கு கண்டறிதல் அமைப்பின் செயல்திறனை மதிப்பிடுவது சவாலானது, குறிப்பாக லேபிளிடப்பட்ட விதிவிலக்கு தரவு குறைவாக இருக்கும்போது. பொதுவான அளவீடுகளில்:

• துல்லியம்: கொடியிடப்பட்ட விதிவிலக்குகளின் விகிதம் உண்மையில் விதிவிலக்குகள்.
• நினைவுகூருதல் (உணர்திறன்): சரியாக கொடியிடப்பட்ட உண்மையான விதிவிலக்குகளின் விகிதம்.
• F1-ஸ்கோர்: துல்லியம் மற்றும் நினைவுகூருதலின் இசைவான சராசரி, ஒரு சீரான அளவை வழங்குகிறது.
• ROC வளைவின் கீழ் பகுதி (AUC-ROC): பைனரி வகைப்பாடு பணிகளுக்கு, வகுப்புகளுக்கு இடையே வேறுபடுத்துவதற்கான மாதிரியின் திறனை இது அளவிடுகிறது.
• குழப்பம் அணி: உண்மையான நேர்மறைகள், உண்மையான எதிர்மறைகள், தவறான நேர்மறைகள் மற்றும் தவறான எதிர்மறைகளை சுருக்கமாகக் கூறும் ஒரு அட்டவணை.

5. தொடர்ச்சியான கண்காணிப்பு மற்றும் தழுவல்

'சாதாரண' வரையறை காலப்போக்கில் உருவாகலாம். எனவே, விதிவிலக்கு கண்டறிதல் அமைப்புகள் தொடர்ந்து கண்காணிக்கப்பட்டு மாற்றியமைக்கப்பட வேண்டும்.

• கருத்து சறுக்கல்: தரவின் அடிப்படை புள்ளிவிவர பண்புகள் மாறும் 'கருத்து சறுக்கல்' பற்றி எச்சரிக்கையாக இருங்கள்.
• மறுபயிற்சி: புதுப்பிக்கப்பட்ட தரவுகளுடன் மாதிரிகளை அவ்வப்போது மறுபயிற்சி செய்யுங்கள், அவை பயனுள்ளதாக இருக்கும் என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள்.
• கருத்து சுழற்சிகள்: அமைப்பை மேம்படுத்த கொடியிடப்பட்ட விதிவிலக்குகளை விசாரிக்கும் கள நிபுணர்களிடமிருந்து கருத்துக்களை இணைக்கவும்.

விதிவிலக்கு கண்டறிதலின் உலகளாவிய பயன்பாடுகள்

புள்ளிவிவர விதிவிலக்கு கண்டறிதலின் பல்துறை உலகளாவிய தொழில்களின் பரந்த வரிசை முழுவதும் பொருந்தக்கூடியதாக ஆக்குகிறது.

1. நிதி மற்றும் வங்கி

நிதித் துறையில் விதிவிலக்கு கண்டறிதல் இன்றியமையாதது:

• மோசடி கண்டறிதல்: வழக்கமான வாடிக்கையாளர் செலவு முறைகளிலிருந்து விலகிச் செல்லும் பரிவர்த்தனைகளைக் கொடியிடுவதன் மூலம் கிரெடிட் கார்டு மோசடி, அடையாள திருட்டு மற்றும் சந்தேகத்திற்கிடமான பணமோசடி நடவடிக்கைகளை அடையாளம் காணுதல்.
• அல்காரிதம் வர்த்தகம்: சந்தை கையாளுதல் அல்லது கணினி பிழைகளைக் குறிக்கும் அசாதாரண வர்த்தக அளவுகள் அல்லது விலை நகர்வுகளைக் கண்டறிதல்.
• உள் வர்த்தக கண்டறிதல்: பண்பு இல்லாத மற்றும் சட்டவிரோதமானது என்று கருதப்படும் ஊழியர்களுக்கான வர்த்தக முறைகளைக் கண்காணித்தல்.

உலகளாவிய எடுத்துக்காட்டு: முக்கிய சர்வதேச வங்கிகள் ஒவ்வொரு நாளும் வெவ்வேறு நாடுகள் மற்றும் நாணயங்களில் மில்லியன் கணக்கான பரிவர்த்தனைகளை பகுப்பாய்வு செய்யும் அதிநவீன விதிவிலக்கு கண்டறிதல் அமைப்புகளைப் பயன்படுத்துகின்றன. ஒரு கணக்கில் இருந்து சிறிய கொள்முதல்களுடன் வழக்கமாக இணைக்கப்பட்ட உயர் மதிப்பு பரிவர்த்தனைகளில் திடீர் அதிகரிப்பு, குறிப்பாக ஒரு புதிய புவியியல் இடத்தில், உடனடியாகக் கொடியிடப்படும்.

2. சைபர் பாதுகாப்பு

சைபர் பாதுகாப்புத் துறையில், விதிவிலக்கு கண்டறிதல் முக்கியமானது:

• ஊடுருவல் கண்டறிதல்: சாதாரண நடத்தையிலிருந்து விலகிச் செல்லும் பிணைய போக்குவரத்து முறைகளை அடையாளம் காணுதல், விநியோகிக்கப்பட்ட சேவை மறுப்பு (DDoS) தாக்குதல்கள் அல்லது தீம்பொருள் பரவல் போன்ற சாத்தியமான சைபர் தாக்குதல்களை சிக்னல் செய்தல்.
• தீம்பொருள் கண்டறிதல்: முனைகளில் அசாதாரணமான செயல்முறை நடத்தை அல்லது கோப்பு முறைமை செயல்பாட்டைக் கண்டறிதல்.
• உள் அச்சு கண்டறிதல்: அசாதாரண அணுகல் முறைகள் அல்லது தரவு வடிகால் முயற்சிகளைக் காட்டும் ஊழியர்களை அடையாளம் காணுதல்.

உலகளாவிய எடுத்துக்காட்டு: பன்னாட்டு நிறுவனங்களைப் பாதுகாக்கும் ஒரு உலகளாவிய சைபர் பாதுகாப்பு நிறுவனம் கண்டங்கள் முழுவதும் உள்ள சேவையகங்களிலிருந்து பிணைய பதிவுகளில் விதிவிலக்கு கண்டறிதலைப் பயன்படுத்துகிறது. நெட்வொர்க்கை இதற்கு முன்பு அணுகாத IP முகவரியிலிருந்து தோல்வியுற்ற உள்நுழைவு முயற்சிகளில் அசாதாரணமான அதிகரிப்பு அல்லது வெளிப்புற சேவையகத்திற்கு அதிக அளவு முக்கியமான தரவை திடீரென மாற்றுவது எச்சரிக்கையைத் தூண்டும்.

3. சுகாதாரம்

சுகாதார விளைவுகளை மேம்படுத்துவதில் விதிவிலக்கு கண்டறிதல் கணிசமாக பங்களிக்கிறது:

• மருத்துவ சாதன கண்காணிப்பு: செயலிழப்புகள் அல்லது நோயாளி உடல்நலக் குறைபாட்டைக் குறிக்கும் அணியக்கூடிய சாதனங்கள் அல்லது மருத்துவ உபகரணங்களிலிருந்து (எ.கா., இதயமுடுக்கிகள், இன்சுலின் பம்புகள்) சென்சார் அளவீடுகளில் உள்ள விதிவிலக்குகளை அடையாளம் காணுதல்.
• நோயாளி உடல்நல கண்காணிப்பு: உடனடி மருத்துவ கவனிப்பு தேவைப்படக்கூடிய அசாதாரணமான முக்கிய அறிகுறிகள் அல்லது ஆய்வக முடிவுகளைக் கண்டறிதல்.
• மோசடி கூற்றுக்கள் கண்டறிதல்: சுகாதார காப்பீட்டில் சந்தேகத்திற்கிடமான பில்லிங் முறைகள் அல்லது நகல் கூற்றுக்களை அடையாளம் காணுதல்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய சுகாதார ஆராய்ச்சி அமைப்பு உலகெங்கிலும் உள்ள பல்வேறு கிளினிக்குகளிலிருந்து திரட்டப்பட்ட, அநாமதேய நோயாளி தரவைப் பயன்படுத்தி, அரிதான நோய்கள் வெடிப்புகள் அல்லது சிகிச்சைகளுக்கு அசாதாரண பதில்களை அடையாளம் காணும். வெவ்வேறு பிராந்தியங்களில் பதிவாகும் இதே போன்ற அறிகுறிகளின் எதிர்பாராத கிளஸ்டர் ஒரு பொது சுகாதார கவலைக்கான ஆரம்ப அறிகுறியாக இருக்கலாம்.

4. உற்பத்தி மற்றும் தொழில்துறை IoT

தொழில் 4.0 யுகத்தில், விதிவிலக்கு கண்டறிதல் முக்கியமானது:

• முன்கணிப்பு பராமரிப்பு: இயந்திரங்களின் சென்சார் தரவைக் கண்காணித்தல் (எ.கா., அதிர்வு, வெப்பநிலை, அழுத்தம்) உபகரணங்கள் தோல்வியடைவதற்கு முன்னர் அதைக் கணிக்கக்கூடிய விலகல்களைக் கண்டறிய, விலையுயர்ந்த வேலையில்லா நேரத்தைத் தடுக்கிறது.
• தரக் கட்டுப்பாடு: உற்பத்தி செயல்பாட்டின் போது எதிர்பார்க்கப்படும் விவரக்குறிப்புகளிலிருந்து விலகிச் செல்லும் தயாரிப்புகளை அடையாளம் காணுதல்.
• செயல்முறை மேம்படுத்தல்: உற்பத்தி வரிகளில் திறமையின்மை அல்லது விதிவிலக்குகளைக் கண்டறிதல்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய வாகன உற்பத்தியாளர் பல்வேறு நாடுகளில் உள்ள அதன் சட்டசபை வரிகளிலிருந்து சென்சார் தரவுகளில் விதிவிலக்கு கண்டறிதலைப் பயன்படுத்துகிறார். ஜெர்மனியில் உள்ள ஒரு ஆலைகளில் உள்ள ஒரு ரோபோ கரம் அசாதாரணமான அதிர்வு முறைகளைக் காட்டத் தொடங்கினால், அல்லது பிரேசிலில் உள்ள ஒரு ஓவியம் அமைப்பு சீரற்ற வெப்பநிலை அளவீடுகளைக் காட்டினால், உடனடியாக பராமரிப்புக்காக கொடியிடலாம், இது நிலையான உலகளாவிய உற்பத்தி தரத்தை உறுதிசெய்து திட்டமிடப்படாத பணிநிறுத்தங்களைக் குறைக்கிறது.

5. இணையவழி வணிகம் மற்றும் சில்லறை வணிகம்

ஆன்லைன் மற்றும் உடல் சில்லறை விற்பனையாளர்களுக்கு, விதிவிலக்கு கண்டறிதல் உதவுகிறது:

• மோசடி பரிவர்த்தனைகளைக் கண்டறிதல்: முன்பு குறிப்பிட்டது போல், சந்தேகத்திற்கிடமான ஆன்லைன் கொள்முதல்களை அடையாளம் காணுதல்.
• சரக்கு மேலாண்மை: பங்கு முரண்பாடுகள் அல்லது திருட்டை குறிக்கும் அசாதாரண விற்பனை முறைகளைக் கண்டறிதல்.
• வாடிக்கையாளர் நடத்தை பகுப்பாய்வு: தனிப்பட்ட வாடிக்கையாளர் பிரிவுகளை அல்லது சாத்தியமான சிக்கல்களைக் குறிக்கும் வாடிக்கையாளர் கொள்முதல் பழக்கங்களில் உள்ள வெளிப்புறங்களை அடையாளம் காணுதல்.

உலகளாவிய எடுத்துக்காட்டு: ஒரு உலகளாவிய ஆன்லைன் சந்தை பயனர் செயல்பாட்டைக் கண்காணிக்க விதிவிலக்கு கண்டறிதலைப் பயன்படுத்துகிறது. ஒரு கணக்கு திடீரென குறுகிய காலத்தில் பல்வேறு நாடுகளில் இருந்து அதிக எண்ணிக்கையிலான கொள்முதல்களைச் செய்தால் அல்லது அதன் வரலாற்றிலிருந்து விலகிச் செல்லும் அசாதாரணமான உலாவல் நடத்தையைக் காட்டினால், கணக்கு கையகப்படுத்துதல்கள் அல்லது மோசடி நடவடிக்கைகளைத் தடுக்க மறுஆய்வுக்காகக் கொடியிடப்படலாம்.

விதிவிலக்கு கண்டறிதலில் எதிர்கால போக்குகள்

இயந்திரக் கற்றலில் முன்னேற்றங்கள் மற்றும் தரவின் அதிகரித்து வரும் அளவு மற்றும் சிக்கலான தன்மையால் விதிவிலக்கு கண்டறிதல் துறை தொடர்ந்து வளர்ச்சியடைந்து வருகிறது.

• விதிவிலக்கு கண்டறிதலுக்கான ஆழமான கற்றல்: நரம்பியல் பிணையங்கள், குறிப்பாக ஆட்டோ என்கோடர்கள் மற்றும் மீண்டும் மீண்டும் நரம்பியல் பிணையங்கள் (RNN கள்), சிக்கலான, உயர் பரிமாண மற்றும் தொடர்ச்சியான தரவு விதிவிலக்குகளுக்கு மிகவும் பயனுள்ளதாக நிரூபிக்கப்படுகின்றன.
• விளக்கக்கூடிய AI (XAI) விதிவிலக்கு கண்டறிதலில்: அமைப்புகள் மிகவும் சிக்கலானதாக இருப்பதால், ஒரு விதிவிலக்கு ஏன் கொடியிடப்பட்டது என்பதைப் புரிந்துகொள்ள ஒரு வளர்ந்து வரும் தேவை உள்ளது. XAI நுட்பங்கள் நுண்ணறிவுகளை வழங்க ஒருங்கிணைக்கப்படுகின்றன.
• நிகழ்நேர விதிவிலக்கு கண்டறிதல்: சைபர் பாதுகாப்பு மற்றும் நிதி வர்த்தகம் போன்ற முக்கியமான பயன்பாடுகளில் உடனடி விதிவிலக்கு கண்டறிதலுக்கான தேவை அதிகரித்து வருகிறது.
• கூட்டாட்சி விதிவிலக்கு கண்டறிதல்: தனியுரிமைக்கு உணர்திறன் தரவுக்கு, கூட்டாட்சி கற்றல் மூல தரவை பரிமாறாமல் பல பரவலாக்கப்பட்ட சாதனங்கள் அல்லது சேவையகங்களில் விதிவிலக்கு கண்டறிதல் மாதிரிகளுக்கு பயிற்சி அளிக்க அனுமதிக்கிறது.

முடிவுரை

புள்ளிவிவர விதிவிலக்கு அடையாளம் என்பது விதிவிலக்கு கண்டறிதலின் பரந்த புலத்தில் ஒரு அடிப்படை நுட்பமாகும். புள்ளிவிவரக் கொள்கைகளைப் பயன்படுத்துவதன் மூலம், உலகெங்கிலும் உள்ள வணிகங்களும் நிறுவனங்களும் சாதாரண மற்றும் அசாதாரண தரவு புள்ளிகளுக்கு இடையில் திறம்பட வேறுபடுத்தி, மேம்பட்ட பாதுகாப்பு, மேம்பட்ட செயல்திறன் மற்றும் மிகவும் வலுவான முடிவெடுப்பதற்கு வழிவகுக்கும். தரவு அளவு மற்றும் சிக்கலான தன்மையில் தொடர்ந்து வளரும்போது, விதிவிலக்கு கண்டறிதல் நுட்பங்களை மாஸ்டர் செய்வது இனி ஒரு சிறப்பு திறன் அல்ல, ஆனால் நவீன, ஒன்றோடொன்று இணைக்கப்பட்ட உலகத்தை வழிநடத்துவதற்கு ஒரு முக்கியமான திறன்.

நீங்கள் முக்கியமான நிதி தரவைப் பாதுகாக்கிறீர்களோ, தொழில்துறை செயல்முறைகளை மேம்படுத்துகிறீர்களோ அல்லது உங்கள் பிணையத்தின் ஒருமைப்பாட்டை உறுதிசெய்கிறீர்களோ, புள்ளிவிவர விதிவிலக்கு கண்டறிதல் முறைகளைப் புரிந்துகொள்வது மற்றும் பயன்படுத்துவது வளைவுக்கு முன்னால் இருக்கவும் சாத்தியமான அபாயங்களைக் குறைக்கவும் தேவையான நுண்ணறிவுகளை உங்களுக்கு வழங்கும்.